部署Spark的历史服务器 |
您所在的位置：网站首页 › history store › 部署Spark的历史服务器 |
部署Spark的历史服务器
|
部署Spark的历史服务器—Spark History Server
一、配置spark历史服务器
此操作是建立在“部署基于Standalone模式部署Spark集群”之上的，也是我的上一篇博客 https://editor.csdn.net/md/?articleId=109015894 1.1、进入Spark安装目录下的conf目录 cd /usr/spark/spark-2.4.7-bin-hadoop2.7/conf/ 1.2、编辑spark-default.conf文件，找到 # spark.eventLog.enabled true # spark.eventLog.dir hdfs://namenode:8020/directory改为：(8020为你的master主机端口号)，可在Hadoop安装目录下的core.site.xml文件中查看 cd /usr/hadoop/hadoop-2.10.0/etc/hadoop/ cat core-site.xml spark.eventLog.enabled true spark.eventLog.dir hdfs://master:8020/spark-logo 1.3、在HDFS中创建spark-logs目录开发者必须提前在HDFS中创建“hdfs://master:8020/spark-logo”目录，否则 “spark.eventLog.dir”属性不会生效。 进入Hadoop安装目录 cd /usr/hadoop/hadoop-2.10.0/启动Hadoop start-all.sh执行下列命令： bin/hadoop fs -mkdir /spark-logs在文档末尾添加： export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000 -Dspark.history.retained-Applications=3 Dspark.history.fs.logDirectory=hdfs://192.168.64.3:8020/spark-logs" 5.将配置好的文件分发到其他主机分发给slave1 cd /usr/spark/spark-2.4.7-bin-hadoop2.7/conf scp spark-defaults.conf slave1:/usr/spark/spark-2.4.7-bin-hadoop2.7/conf/ scp spark-env.sh slave1:/usr/spark/spark-2.4.7-bin-hadoop2.7/conf/分发给slave2 scp spark-defaults.conf slave2:/usr/spark/spark-2.4.7-bin-hadoop2.7/conf/ scp spark-env.sh slave2:/usr/spark/spark-2.4.7-bin-hadoop2.7/conf/ 二、启动并查看Spark历史服务 1、启动Spark的Master、Woker服务进入第一台主机即master机上，进入Spark安装目录,执行以下命令： sbin/start-all.sh 2、启动Spark历史服务 sbin/start-all.sh 3、访问历史服务页面 http://master:4000/看到如下画面，则配置成功 |
【本文地址】
今日新闻 |
推荐新闻 |